灰度图像着色是AI在信息恢复中的引人入胜的应用。该问题的天生性质不良的性质使其更具挑战性,因为输出可能是多模式的。目前正在使用的基于学习的方法为直接情况产生可接受的结果,但在没有明确的图形分离的情况下通常无法恢复上下文信息。同样,由于在完整图像特征上训练的单个模型不足以学习各种数据模式,因此图像遭受了颜色出血和饱和背景。为了解决这些问题,我们提出了一个基于GAN的配色框架。在我们的方法中,每个量身定制的GAN管道都会使前景(使用对象级特征)或背景(使用全图像功能)着色。前景管道采用了一个具有自我注意事项的残留无UNET作为其发电机,使用了全图像功能和可可数据集中的相应对象级特征训练。背景管道依赖于该位置数据集的全图像功能和其他培训示例。我们设计了一个基于密集的融合网络,以通过基于特征的融合来获得最终的有色图像。我们显示了通常用于评估多模式问题(例如图像着色)并使用多个感知指标对我们的框架进行广泛的绩效评估的非感知评估指标的缺点。我们的方法的表现优于大多数基于学习的方法,并且产生的结果与最新的方法相当。此外,我们进行了运行时分析,并获得了每个图像的平均推理时间24ms。
translated by 谷歌翻译